{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium import webdriver\n",
    "import re\n",
    "import pandas as pd\n",
    "import time\n",
    "\n",
    "\n",
    "# setting chrome\n",
    "chrome_options = webdriver.ChromeOptions()\n",
    "chrome_options.add_argument('--headless')\n",
    "chrome_options.add_argument('--disable-gpu')\n",
    "chrome_options.add_argument(\"window-size=1024,768\")\n",
    "chrome_options.add_argument(\"--no-sandbox\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [],
   "source": [
    "# get url\n",
    "browser = webdriver.Chrome(options = chrome_options)\n",
    "\n",
    "all_data = pd.DataFrame()\n",
    "def pa_hanjie(page):\n",
    "    global all_data \n",
    "    url = 'http://www.china-weldnet.com/cgi-bin/qyml/result.asp?page=' + str(page) + '&keyword=%C9%E8%B1%B8'\n",
    "    browser.get(url)\n",
    "    time.sleep(2)\n",
    "    data = browser.page_source\n",
    "    table = pd.read_html(data)[1]\n",
    "#     print(table[12:])\n",
    "    if page>1:\n",
    "        all_data= all_data.append(table[1:])\n",
    "    else:\n",
    "        all_data= all_data.append(table)\n",
    "    \n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "r_pages = '<font color=\"red\">\\d*?</font>/(\\d*?) 页 &nbsp;总共 '\n",
    "total_page = re.findall(r_pages, data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "     0                               1                         2       3   4\n",
      "12  12               哈尔滨哈电机械电子设备有限责任公司         哈尔滨平房区哈南工业新城汇贤路5号  150090  理事\n",
      "13  13                   常州市华强焊割设备有限公司            江苏省常州市新区奥园路38号  213004  理事\n",
      "14  14                    青岛国胜焊割设备有限公司          山东省青岛平度市南村镇华青路6号  266736  理事\n",
      "15  15             上海电气电站设备有限公司上海电站辅机厂             上海市杨浦区隆昌路621号  200090  理事\n",
      "16  16                    上海电气核电设备有限公司  上海市南汇区临港新城重装备产业区E205－A地块  201300  理事\n",
      "17  17  北京广厦环能科技有限公司（原廊坊广厦新源石化设备制造有限公司             河北省廊坊市永清燃气工业区   65600  理事\n",
      "18  18                    抚顺机械设备制造有限公司      辽宁省抚顺市李石经济开发区沈东三路77号  113122  理事\n",
      "19  19                     大连宝原核设备有限公司          大连开发区保税区填海区南港路5号  116620  理事\n",
      "20  20                      上海桥立电气有限公司            上海市闵行区昆阳路1000号  200245  设备\n",
      "     0                   1                                2       3   4\n",
      "12  32       温州市焊通焊接设备有限公司               浙江省乐清经济开发区纬十六路305号  325600  设备\n",
      "13  33          成都三方电气有限公司             成都市东三环路二段龙潭工业区航天路24号  610052  设备\n",
      "14  34      航天工程装备（苏州）有限公司                    上海市闵行区华宁路100号  200245  设备\n",
      "15  35            新疆安装技工学校                新疆乌鲁木齐新市区杭州东街434号  830013  设备\n",
      "16  36    武汉凯奇冶金焊接设备制造有限公司                武汉市东西湖区长青街革新大道36号  430035  设备\n",
      "17  37  上海电气电站设备有限公司上海汽轮机厂                    上海市闵行区江川路333号  200240  能源\n",
      "18  38          广州镱宝电机有限公司  广州市南沙区东涌镇市鱼路101号文华工业园（17.11.13）  511475  设备\n",
      "19  39     佛山市南海银象焊接技术有限公司        广东省佛山市南海区里水镇和桂工业园二期顺展南路1号  528241  设备\n",
      "20  40         北京电焊机制造有限公司               北京市西城区鼓楼西大街八步口胡同3号  100009  设备\n",
      "     0                                    1                        2       3  \\\n",
      "12  52  珠海固得焊接自动化设备有限公司（更名为珠海瑞凌焊接自动化设备有限公司）    珠海市前山工业区华威路611 号太川工业园  519000   \n",
      "13  53                        长沙西姆西焊接材料有限公司         湖南省长沙市雨花区仙岭中路98号  410116   \n",
      "14  54                            温州大华焊割设备厂              浙江省温州市185信箱  325000   \n",
      "15  55                         常州泛洋电气设备有限公司        江苏常州市经济开发区天安工业村B座  213002   \n",
      "16  56                       天津天宗切割焊接设备有限公司        天津市南开区卫津路天津大学填料大楼  300072   \n",
      "17  57                     常州海特锐等离子切割设备有限公司            常州市武进区远村远中路2号  213175   \n",
      "18  58                           任丘市永兴焊接设备厂             河北省任丘市丙395信箱  062555   \n",
      "19  59                           广州数控设备有限公司             广州市萝岗区观达路22号  510530   \n",
      "20  60                        常州宝雷久焊割设备有限公司  江苏省常州市钟楼开发区梅花鹿12-2号3栋4楼  213023   \n",
      "\n",
      "     4  \n",
      "12  切割  \n",
      "13  设备  \n",
      "14  切割  \n",
      "15  切割  \n",
      "16  切割  \n",
      "17  切割  \n",
      "18  切割  \n",
      "19  设备  \n",
      "20  切割  \n",
      "     0                  1                         2       3   4\n",
      "12  72      厦门兴致远金属机电有限公司            厦门市禾山路186-188号  361009  设备\n",
      "13  73      北京市东升电焊机厂有限公司           北京市西直门外高粱桥斜街19号  100044  设备\n",
      "14  74       无锡市汉强焊接电器机械厂           江苏无锡市河埒口大丁村271号  214062  设备\n",
      "15  75       广州市默斯帕贸易有限公司  广州市天河区中山大道中268号天河广场三楼D12  510660  设备\n",
      "16  76            新乡市电焊机厂           河南新乡市平原路中段西安巷5号  453003  设备\n",
      "17  77    波宾电子束技术（苏州）有限公司             江苏苏州高新区中峰街22号  215129  设备\n",
      "18  78      惠州市五福工业技术有限公司         广东省惠州市下角悦湖居B栋B401  516000  设备\n",
      "19  79           温州电焊设备总厂              浙江温州市鹿城路177号  325005  设备\n",
      "20  80  吉林大学南岭校区材料科学与工程学院            吉林长春市人民大街5988号  130025  设备\n",
      "      0                1                           2       3   4\n",
      "12   92    天津市科华焊接设备有限公司     天津市北站外新开河工业区新中村(第91号信箱)  300240  设备\n",
      "13   93    深圳聚凯泰焊接设备有限公司  广东省深圳市光明新区公明楼村中泰路世峰科技园H栋3楼  518106  设备\n",
      "14   94  河北任丘市金华焊接设备有限公司                   河北任丘吕公堡颜村  062555  设备\n",
      "15   95       任丘市宏达焊接设备厂                    河北省任丘市颜村  062555  设备\n",
      "16   96   天津航天长征火箭制造有限公司        天津经济技术开发区西区夏青路199号东门  300462  设备\n",
      "17   97         上海知新减压器厂            上海市闽行浦东三鲁路知新288号  201114  设备\n",
      "18   98     浙江盾安禾田金属有限公司                 浙江省诸暨市店口工业区  311835  设备\n",
      "19   99     西锐电气（上海）有限公司           上海杨浦区密云路1018号902栋  200437  设备\n",
      "20  100      珠海市飞鹰电器有限公司               广东省珠海市翠屏路212号  519075  设备\n",
      "      0                        1                               2       3   4\n",
      "12  112              鞍山市亚泰机电有限公司               辽宁鞍山市铁西区南九道街265号甲  114021  设备\n",
      "13  113            德州梅卡尔机电科技有限公司         山东省德州市德城区大衢工业园育英大街3222号  253000  设备\n",
      "14  114             成都焊研科技有限责任公司            四川成都东三环二段龙潭工业园航天路18号  610052  设备\n",
      "15  115  深圳绿科大地节能设备（东莞）有限公司深圳办事处  广州深圳市福田区车工庙泰然六路苍松大厦南座1811-1813  518000  设备\n",
      "16  116             徐州全仁物资贸易有限公司       江苏省徐州市中山北路170号国家级市场6厅616号  221005  设备\n",
      "17  117             成都华远电器设备有限公司                    成都市武侯区武兴四路5号  610045  设备\n",
      "18  118             浙江中剑焊接设备有限公司                     浙江省温岭市城西工业区  317500  设备\n",
      "19  119              温州正大整流器有限公司            浙江省乐清市乐城镇汇丰路城西大道588号  325604  设备\n",
      "20  120           烟台盛鑫金属表面技术有限公司           烟台开发区星海花园16号楼一单元204房间  264006  设备\n",
      "      0                1                           2       3   4\n",
      "12  132  中核包头核燃料元件股份有限公司        内蒙古包头市456信箱AP1000元件厂  014035  设备\n",
      "13  133   北京理大校创科技开发有限公司   北京市海淀区中关村南大街5号理工科技大厦1009厅  100081  设备\n",
      "14  134      无锡威卡特科技有限公司           无锡市胡埭产业工业区西拓区新科五路  214161  设备\n",
      "15  135     南京九州焊接机械有限公司          南京市江宁区谷里工业集中区兴谷路2号  211164  设备\n",
      "16  136     安徽日基焊接装备有限公司        安徽省黄山市徽州区城北工业园二环路27号  245900  设备\n",
      "17  137  北京金火焰创新科技发展有限公司  北京市朝阳区大屯路科学园南里风林绿洲F09-4-3A  100101  设备\n",
      "18  138        天津市医疗器械二厂                天津市河西区尖山路80号  300211  设备\n",
      "19  139  辽宁鞍山市昌圣科技开发有限公司            辽宁鞍山市千山区西北环路900号  114011  设备\n",
      "20  140   佛山市奥宾仕焊接设备有限公司      佛山市南海区盐步河西陆边沙塘工业区新区48号  528247  设备\n",
      "      0                  1                            2       3   4\n",
      "12  152     唐山华航创先机电设备有限公司                唐山市丰润区任各区唐丰路西  064012  金属\n",
      "13  153     天津五矿新城机电设备有限公司      天津市南开区密云一支路北方城二区18-112号  300112  贸易\n",
      "14  154       江苏九州焊接设备有限公司                江苏省南京市双龙路199号  211101  贸易\n",
      "15  155       湖南和立机电设备有限公司       湖南省长沙市南湖五金机电市场二栋30-32号  410001  贸易\n",
      "16  156       贵州志豪机电设备有限公司        贵阳市小河区淮河路2号卓越时代大厦7-4号  550009  贸易\n",
      "17  157      长春市环宇焊接设备有限公司      吉林长春市临河街108号生产资料市场7-19号  130031  贸易\n",
      "18  158       温州汇元焊接设备有限公司                    温州市天虹桥路1号  325000  贸易\n",
      "19  159      任丘市松兴焊接设备有限公司  河北任丘市裕华东路市场西街64号任丘市10-717信箱  062550  贸易\n",
      "20  160  烟台台海玛努尔核电设备股份有限公司             烟台山东省烟台市莱山区恒源路6号  264003  能源\n",
      "      0                1                                 2       3   4\n",
      "12  172   包头新松科自动化设备有限公司                 包头稀土高新区滨州新区火炬路32号  014010  环境\n",
      "13  173   杭州东海焊割设备器材有限公司                 杭州市萧山区临浦工业园区悍马路9号  311251  环境\n",
      "14  174    沈阳海纳自动化设备有限公司                 沈阳经济技术开发区五号路11甲3号  110144  环境\n",
      "15  175     陕西宝达机电设备有限公司          西安市大庆路3号蔚蓝国际机电广场1065.66室  710082  环境\n",
      "16  176    成都金浩洋焊割设备有限公司             成都市金牛区二环路西三段181号1402#  610000  环境\n",
      "17  177     长春铭禹机械设备有限公司  长春市洋浦大街6999号凯利国际工业品交易中心D区34-108号  130031  环境\n",
      "18  178  南京伟易达机电科技发展有限公司                南京市高淳区经济开发区荆山东路29号  211300  设备\n",
      "19  179       陕西焊接工程技师学院                      陕西省宝鸡市蟠龙新区6号  721008  设备\n",
      "20  180     北京创想智控科技有限公司               北京市海淀区创业中路36号4层406室  100083  设备\n",
      "      0                 1                             2       3   4\n",
      "12  192    上海欢颜智能焊接设备有限公司          上海市嘉定区横仓公路2465号5号楼三楼     NaN  设备\n",
      "13  193    南京尼勤维自动化设备有限公司  南京市浦口区浦珠北路110号恒辉翡翠花园12-1101号     NaN  设备\n",
      "14  194      司锐（上海）贸易有限公司   上海市徐汇区虹梅路1905号远中科研楼西部一层103室  200233  设备\n",
      "15  195      南通亿达焊割设备有限公司          江苏省南通市崇川区虹桥西村41幢10号店  226001  江苏\n",
      "16  196    南通乘胜焊接机电设备有限公司          江苏省南通市钟秀中路嘉龙大厦B区109室  226000  江苏\n",
      "17  197      南通阳光焊割设备有限公司                  南通市港闸区永康路55号     NaN  江苏\n",
      "18  198     盐城市宁鹏机电设备有限公司             盐城市大庆西路58号港湾大厦115  224000  江苏\n",
      "19  199     南通市金通焊接设备有限公司               南通市崇川区钟秀中路85-8号  226001  江苏\n",
      "20  200  常州新区广达机电设备工贸有限公司                 江苏省常州市博爱路192号  213003  江苏\n",
      "      0                 1                               2       3   4\n",
      "12  212  吉林省本川自动化科技开发有限公司  吉林省长春市经济开发区东环城路9576号凯希环保院内南侧2楼  130021  设备\n",
      "13  213      湖南九方焊接技术有限公司             湖南省株洲市栗雨工业园黑龙江路585号     NaN  设备\n",
      "14  214      深圳市华创美电器有限公司        深圳市宝安区松岗街道罗田社区燕罗公路275-1号  518100  设备\n",
      "15  215  四川成焊宝玛焊接装备工程有限公司               成都市成华区龙潭工业园成致路15号  610052  设备\n",
      "16  216      山东中勒机电设备有限公司          山东省青岛即墨市北龙湾工业园青威路1612号  266200  设备\n",
      "17  217     任丘市捷锐焊接设备有限公司                             NaN     NaN  江苏\n",
      "18  218     常州市张氏焊割设备有限公司                             NaN     NaN  江苏\n",
      "19  219       常州特尔玛枪嘴有限公司                常州新北区国家环保产业园三路9号  213134  设备\n",
      "20  220     广州市金象工业生产有限公司                   广州市荔湾区宝源路126号  510140  设备\n",
      "      0                                                  1  \\\n",
      "12  232                                    伏能士智能设备（上海）有限公司   \n",
      "13  233                                        成都电焊机杂志有限公司   \n",
      "14  234  深圳市麦格米特焊接技术有限公司（17.11.17七届二次会员大会，18.5.29邮寄单位及个...   \n",
      "15  235                                       辽宁欣成镁业发展有限公司   \n",
      "16  236                                      厦门市焊丰机电设备有限公司   \n",
      "17  237                                             吉林工贸学校   \n",
      "18  238                                         深圳力科电气有限公司   \n",
      "19  239                                       江苏中科君芯科技有限公司   \n",
      "20  240                                        上海库茂机器人有限公司   \n",
      "\n",
      "                                           2       3   4  \n",
      "12                         上海市宝山区妇联二路177弄2号楼  201906  设备  \n",
      "13                          四川省成都市二环路东一段29 号  610051  设备  \n",
      "14  广东省深圳市南山区西丽街道高新区北区朗山路13号清华紫光科技园B1层C-B105  518057  设备  \n",
      "15                            辽宁营口大石桥市官屯镇官屯村  115100  设备  \n",
      "16                    厦门市湖里区港中路象屿五金机电城13-401  361006  设备  \n",
      "17                           吉林省吉林市船营区农林街37号  132012  设备  \n",
      "18       深圳市龙岗区坂田街道雅宝路1号星河WORLD E栋1305-1306室  518129  设备  \n",
      "19           江苏省无锡市新区菱湖大道200号中国传感网国际创新园D2座五层  214135  设备  \n",
      "20                           上海市嘉定区银翔路515号4楼  201802  设备  \n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "      0                             1                                 2  \\\n",
      "12  252                  安徽华生机电设备有限公司                    安徽省宜城市泾县开发区经二路   \n",
      "13  253                  唐山宏正机械设备有限公司                   河北唐山丰润曹学芹东道230号   \n",
      "14  254                  南京合信智能装备有限公司              南京市新港国家经济开发区红枫科技园B4栋   \n",
      "15  255                  中冶建筑研究总院有限公司          北京市海淀区西土城路33号中冶建研院3-1013   \n",
      "16  256                    浙江苍松电器有限公司                               NaN   \n",
      "17  257  山东科信智汇机电工程有限司（原济宁科信焊切设备有限公司）         山东省济宁市高新区柳行绿地万丽富德18层1813室   \n",
      "18  258              西安奥杰电热设备工程有限责任公司               陕西省咸阳市秦都区沣东 新城光大路3号   \n",
      "19  259                  湖南坤鼎数控科技有限公司  湖南省常德国家高新技术产业开发区西洞庭生物科技园沅澧大道599号   \n",
      "20  260                 广州市崇景环保设备有限公司              广东广州市番禹区洛浦街西一村工业路39号   \n",
      "\n",
      "         3    4  \n",
      "12  242500   设备  \n",
      "13   34000  NaN  \n",
      "14  210000   设备  \n",
      "15  100088   设备  \n",
      "16     NaN   设备  \n",
      "17  272100   材料  \n",
      "18  710042   钎焊  \n",
      "19  415137   设备  \n",
      "20  511400   贸易  \n"
     ]
    }
   ],
   "source": [
    "for i in range(1,15):\n",
    "    pa_hanjie(i)\n",
    "\n",
    "# print(all_data) \n",
    "all_data.to_excel(\"焊接协会会员信息.xlsx\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
